﻿5, Оценка  количества информации. Единицы количества информации
Задача эффективного использования информации выдвигает на первый план проблему измерения количества информации, содержащейся в сообщениях разного вида. Без такой количественной оценки невозможно осуществлять инженерные расчеты информационных систем, когда надо определять, например, размер устройств памяти для хранения информации, пропускную способность каналов связи для передачи информации и другие технические характеристики.
Интуитивное понятие информации ничего не дает с точки зрения такой количественной оценки. Мы пользуемся терминами «важное сообщение», «интересные сведения», совершенно не придавая значения тому, насколько, на какое число и каких единиц одно сообщение «важнее» или «интереснее» другого.
Для оценки количества информации необходимо иметь меру этого количества. Создание такой меры оказалось делом чрезвычайно трудным, и проблема эта полностью еще не решена. Основная трудность заключается в том, что одна и та же информация имеет для различных получателей совершенно разную ценность, т.е. количество информации, содержащееся в одном и том же сообщении, может быть различно. Более того, даже для одного и того же получателя ценность информации зависит от времени ее получения и общей ситуации. Например, информация о неисправности двигателя самолета имеет для летчика различную ценность в зависимости от того, получена ли она на ВПП или в воздухе, вблизи аэропорта или над территорией, не имеющей посадочных площадок.
Еще труднее определить ценность информации, адресованной не одному, а нескольким получателям, например сообщений по радио, телевидению, в газетах и т.п.
В 50-годах прошлого столетия возникла и получила весьма широкое распространение теория информации, одним из важнейших вопросов которой стала разработка меры количества информации. Условием создания такой меры является необходимость отвлечься от содержания информации, ее смысла, полезности, а за отправную точку для информационной оценки состояния источника принимается только количество отличных друг от друга событий в источнике и соответственно количество получаемых от него сообщений. При таком подходе информация рассматривается как сообщение об исходе случайных событий, реализации случайных величин и функций, а количество информации ставится в зависимость от априорных вероятностей этих событий, величин, функций.
Другими словами, в основу меры количества информации закладывается оценка неопределенности ситуации, о которой мы получаем сообщение, т.е. имеет место вероятностный подход. Когда получается сообщение о часто встречающихся событиях, вероятность которых стремится к единице, т.е. к показателю полной достоверности, то такое сообщение малоинформативно. Столь же малоинформативны сообщения о противоположных событиях (антисобытиях), вероятности которых

